大模型应用开发LangStudio概述

产品功能架构

• 应用流构建：LangStudio以应用流的方式来支持大模型应用的开发，您可以通过添加和编辑不同类型的节点，将输入输出进行串联，构造符合业务需求的大模型应用。

  • 应用流编辑器：通过串联LLM和Python工具等节点，编排大语言模型应用流。

  • 应用流模板：提供常见的场景模板，例如知识库问答、NL2SQL以及工具调用等。

  • 连接配置：通过创建和配置连接，与数据库、API、大模型服务进行关联，创建后可在应用流内引用已定义的连接，支持在不同的工作流和项目中重复使用这些连接，简化集成流程。

  • 知识库构建：通过Designer模板完成数据处理和向量知识库构建。

• 性能调优：可视化的应用流运行和链路跟踪，方便您诊断分析和调试。

  • 在线运行：支持通过对话窗口与应用流线上进行输入交互，实时测试应用流效果。

  • 调用链分析：测试结果提供可视化调用链分析（Trace），帮助您了解链路中不同Span的表现，方便调试。

• 服务部署：

  • 一键部署PAI-EAS：在构建和测试应用流之后，可一站式将应用流部署至PAI-EAS。

  • 在线观测/调用链分析：部署后可在线上环境观测调用所产生的链路追踪。

产品优势

• 降低LLM应用开发门槛：

  提供多种常用的应用流模板，帮助您快速构建端到端的LLM应用。平台隐藏了不必要的复杂性，您无需深入底层配置，可以将更多精力专注于LLM应用功能的构建。

• 开发调优自主可控：

  支持白盒化的应用流编排和代码开发，您可以对模型的行为和工具的调用拥有全面理解和掌控，提升问题的定位与解决效率。通过简易的管理系统与直观的可视化界面，可以针对特定的业务需求轻松调整应用各环节逻辑，优化LLM应用程序性能，快速比较并选择最优方案。

• 无缝构建企业级应用：

  支持从初步概念验证（POC）到生产环境的无缝衔接，不仅适用于POC阶段，还能够支持企业级应用的部署与长期运营。平台适合不同规模的企业，能够一站式将应用流部署至PAI-EAS，实现高效运营。其中企业级应用具有以下特点：

  • 使用专属资源进行调试和部署。

  • 业务数据、模型服务和大模型应用整条链路都可以在您的VPC内完成，实现最大程度的数据安全和网络隔离。

  • 提供精细化的角色管理和权限管理。

• 与PAI的AI能力和工具链无缝串联：

  • 使用Model Gallery中的基模或微调的模型。

  • 使用Designer进行离线知识库的构建和更新。

  • 使用PAI-EAS进行应用部署和服务管控。

适用场景

企业级RAG应用

结合训练好的LLM大模型与企业私有业务领域数据的知识库，提升大模型的问答能力和专业性：

• 动态知识更新：定期或实时更新企业私有数据，确保大模型能够利用最新的数据进行问答，提升答案的时效性和准确性。

• 安全与隐私保障：确保企业数据在模型训练和推理过程中的安全性，严格遵循数据隐私法规和内部审计要求。

NL2SQL智能BI助手

通过自然语言到SQL的转换，将您的相关业务需求转化为具体的数据查询，增强数据分析能力：

• 智能查询生成：您可通过自然语言描述需求，系统将自动生成SQL查询，降低技术门槛。

• 自动化报表生成：根据查询结果，自动生成可视化报表，便于决策层快速了解业务情况。

• 数据洞察与建议：基于历史数据分析，提供智能洞察和操作建议，帮助您发现潜在的业务机会。

多模态Chat Agent

结合文本、语音、图像等多种输入形式，提供更为丰富和智能化的交互体验。

地域限制

目前大模型应用开发（LangStudio）仅支持在华东1（杭州）地域使用。

计费说明

在使用LangStudio开发大模型应用时，您使用的对象存储OSS、可观测链路OpenTelemetry版、日志服务SLS和PAI-EAS等产品会产生相关费用。计费详情，请参见大模型应用开发（LangStudio）计费说明。

使用流程

您可以参见RAG应用流的开发与部署，基于检索增强生成LLM应用场景，带您快速体验端到端流程。

• 服务开通并授权LangStudio：首次使用大模型应用开发LangStudio需要进行服务角色授权与开通，详情请参见云产品依赖与授权：LangStudio。

• 连接配置：用于存储访问LangStudio外部服务（如模型服务、数据库及其他工具）的信息，配置后可在不同的应用流中重复使用，以简化集成流程，详情请参见连接管理。

• 创建应用流：LangStudio为应用流开发提供了直观且高效的集成开发环境，您可以构建由大语言模型、Python节点以及其他工具组成的业务流，支持从模板创建或根据类型创建的方式，详情请参见应用流开发。

• 应用流开发调试/性能调优：通过在线调试或链路追踪的方法，对应用流进行开发调试和性能调优。

• 部署应用流：可以将调试好的应用流一键部署至PAI-EAS，作为生产环境使用，详情请参见应用流部署。